Beliau dilahirkan pada 28 Jun 1940 di George Town, Pulau Pinang[5] merupakan anak kepada pengawal keselamatan dan penternak separuh masa Ram Singh Deo, ibunya ialah Kartar Kaur.[6] Ram telah berpindah dari India ke Pulau Pinang pada tahun 1921.[7][8] Leluhur Karpal merupakan petani dari kampung Samna Pind, berhampiran Amritsar, dalam daerah Punjab.[6] Beliau mempunyai adik-beradik seramai 9 orang. Adik-beradiknya ialah Jernal Singh, Santokh Singh, Baksis Singh, Balwinder Singh, Manjit Singh, Amar Kaur, Ajit Kaur dan Simindar Kaur.[9]

Karpal mendapat pendidikan awal di St. Xavier's Institution di George Town, dan melawat perkampungan tersebut pada tahun 1963 ketika melanjutkan pelajaran dalam bidang undang-undang di Universiti Kebangsaan Singapura[6][10] pada 1966 dan pada tahun 1974 apabila bapanya meninggal dunia dalam kemalangan di sana.[6] Sepanjang berada di sana, beliau juga pernah berkhidmat sebagai presiden kesatuan pelajar.[7] Beliau telah dihalang dari asrama untuk membantah terhadap keputusan universiti itu untuk mandat "perakuan kesesuaian politik" untuk mengambil pelajar.[7] Karpal berkata, tujuh tahun dia telah mengambil untuk lulus, mengakui bahawa beliau "suka bermain" dan "tidak menghadiri kuliah"[6] Selepas gagal dalam kursus tahun terakhirnya, dekan, membuat dia duduk di hadapan kelas, dan menurut Karpal, "Saya tidak boleh buat main-main lagi dan saya lulus peperiksaan saya sewajarnya!"[6]